PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment
PEA-DPO：感知增强直接偏好优化用于多模态大模型对齐
🧭 多模态 LLM 对齐与视觉偏好优化
University of Science and Technology of China · National University of Singapore
提出 PEA-DPO 显式利用视觉偏好信号，解决多模态 DPO 中的视觉不敏感问题并显著减少幻觉
📌 工作参考价值（4 点）
- 在电商图文推荐或商品文案生成中，仅靠文本偏好对齐容易让模型忽略图像关键信息；可借鉴 PEA-DPO 思路，构造显式视觉对比样本（例如移除商品属性区域前后）作为偏好对，强制模型感知视觉差异。
- 多模态场景下 DPO 失效往往表现为「视觉不敏感」，建议在偏好数据中显式注入视觉信号，而不是简单复用文本偏好对；这能降低商品描述与图片不一致的幻觉。
- PEA-DPO 在增强视觉敏感性的同时保持语言建模能力，说明多模态对齐可以解耦：对视觉模块加感知约束，对语言模块保持原有优化目标，适合需要兼顾文案流畅性和图片一致性的业务。
- 论文验证了不同规模 MLLM 上均有效，说明该方法可作为轻量级偏好优化插件，接入现有多模态推荐或搜索问答系统，无需改变主架构。